剛田武: 正常的话x输入不应该是（batch_size,dim,length）吗？代码里写的顺序不太一样 不过这个倒无所谓 就是得变下输入顺序

希望自己能一直努力: 单独算也没有区别吧

We are: 请问这个dim_in具体指的是什么那？是每个样本的特征维度嘛？

studyga1: 您好，咨询一下。torch.matmul(q, k.transpose(2, 3)) * self._norm_fact 是q与每一个k相乘吗？

studyga1: 我也是才学，应该传的都是同样的值，应该就是d_model吧，然后在forward函数里d_model// num_head了就变成DK,DV,DQ了。d_model就是你要传入的变量的最后一个维度。有什么不对的可以指正，谢谢。